Complexity-Balanced Diffusion Splitting
复杂度平衡的扩散分治策略
🧭 扩散模型·时间维度分治与动态容量分配
The Hebrew University of Jerusalem
基于等分布原理将扩散过程切分为等难度子任务并分配专用子网络,在不增加推理成本下显著提升生成质量。
📌 工作参考价值(4 点)
- 动态算力分配思路可迁移至生成式推荐:电商中的生成式推荐(如物品标题、理由生成)若采用扩散范式,可借鉴 CBS 按生成阶段难度分配模型容量,将困难阶段(如构建语义 ID 的后期细粒度部分)用更大子网络处理,提升生成质量而不增加总推理成本。
- 复杂度估计的轻量方案:使用袖珍辅助模型预测不同时间步的近似难度(Dirichlet 能量或轨迹加速度),无需昂贵搜索。在推荐场景中,可对 embedding 生成过程建立类似的复杂度度量,指导 MoE 专家网络的选择或自适应推理步数。
- 分治思想用于多智能体协调:Agent 系统中处理长链路任务时,可根据任务片段复杂度动态分配不同能力的 Agent,类似 CBS 按时间分片分配子网络,提高整体协作效率。
- 训练时的阶段型容量分配:在训练生成式推荐模型时,可参考 CBS 的等分布原则,让不同训练阶段(如从噪声到语义)使用不同容量的小模型,节省训练资源,适合大规模电商模型的高效训练部署。